Definition Was ist SWAG (Situations With Adversarial Generations)?

SWAG ist die Bezeichnung für einen großen Datensatz mit über 100.000 Satzvervollständigungsaufgaben. Mit ihm lassen sich Natural-Language-Understanding-Modelle (NLU-Modelle) hinsichtlich ihres allgemeinen Weltwissens und ihrer Fähigkeit zu logischen Schlussfolgerungen prüfen. Das zu beurteilende Modell muss aus vier vorgegebenen Möglichkeiten die jeweils plausibelste Fortsetzung einer textlich beschriebenen Videoszene auswählen. Ergebnisse lassen sich über ein Leaderboard online veröffentlichen.

SWAG ist das Akronym für Situations With Adversarial Generations. Es handelt sich um einen großen Datensatz und ein Benchmark-System, mit dem sich KI-Modelle für das Verstehen natürlicher Sprache (Natural-Language-Understanding-Modelle – NLU-Modelle) hinsichtlich ihres allgemeinen Weltwissens und ihrer Fähigkeit zu logischen, fundierten Schlussfolgerungen prüfen lassen. Der SWAG-Datensatz besteht aus 113.000 Satzvervollständigungsaufgaben. Das zu prüfende Modell muss aus jeweils vier vorgegebenen Möglichkeiten in einer Form von Multiple-Choice-Test die jeweils plausibelste Fortsetzung einer textlich beschriebenen Videoszene anhand begründeter und vernünftiger Schlussfolgerungen korrekt auswählen. Die richtige Antwort beschreibt die tatsächliche Fortsetzung der Videoszene. Falsche Antworten des Datensatzes wurden maschinell erzeugt und von Menschen dahingehend geprüft, dass sie hauptsächlich Computer, aber nicht Menschen täuschen.

Die in Textform mit Sätzen beschriebenen Videoszenen stammen aus LSMDC (Large Scale Movie Description and Understanding Challenge) und aus ActivityNet Captions. Das Ergebnis des Tests wird in Prozent angegeben. Die menschliche Schlussfolgerungsleistung liegt beim SWAG-Datensatz bei circa 88 Prozent. Aktuelle KI-Modelle erreichen mittlerweile Ergebnisse von deutlich über 90 Prozent.

Entwickelt und veröffentlicht wurde SWAG von mehreren Wissenschaftlern, darunter Rowan Zellers, Yonatan Bisk, Roy Schwartz und Yejin Choi. SWAG wurde im Paper mit dem Titel „Swag: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference“ im Jahr 2018 veröffentlicht. Der Datensatz ist in Form von CSV-Dateien verfügbar. Das Ergebnis der mit SWAG bewerteten Modelle lässt sich über ein Leaderboard online veröffentlichen.

Motivation für die Entwicklung von Situations With Adversarial Generations

Versucht ein Mensch einen Text oder eine Situation zu verstehen, macht er sich sein großes allgemeines Weltwissen und seine Fähigkeiten zu logischen Schlussfolgerungen zunutze. Beschreibt man einem Menschen eine einfache Szene in wenigen Sätzen wie das Öffnen einer Motorhaube durch einen Autofahrer oder das Betreten einer Bühne mit Piano durch einen Künstler, ist er in der Lage, aufgrund seines allgemeinen Wissens und seiner Fähigkeit zu logischen Schlussfolgerungen, den plausibelsten Fortgang der Szene vorherzusagen. So ist es in den beiden angeführten Beispielen nach „gesundem Menschenverstand“ sehr wahrscheinlich, dass der Autofahrer den Motor inspiziert oder der Künstler auf der Bühne sich an das Piano setzt und zu spielen beginnt. Solche Vorhersagen werden auch als natürlichsprachige Inferenz bezeichnet (Natural Language Inference – NLI). Der SWAG-Datensatz wurde speziell dafür entwickelt, Natural-Language-Understanding-Modelle hinsichtlich ihres allgemeinen Weltwissens und ihrer Fähigkeit zu fundierten Schlussfolgerungen, also ihre NLI-Leistung, zu prüfen und zu beurteilen.

Bestandteile und Funktionsweise von SWAG

Der SWAG-Datensatz besteht aus einer Sammlung von Videoszenen aus populären Filmen, die mit wenigen Sätzen beschriebenen sind. Die Videoszenen stammen aus LSMDC (Large Scale Movie Description and Understanding Challenge) und aus ActivityNet Captions. Zu jeder Szene sind vier ebenfalls in Sätzen beschriebene Möglichkeiten vorgegeben, wie die Szene fortgesetzt werden könnte. Nur eine der vier Möglichkeiten ist richtig und beschreibt den tatsächlichen Fortgang der Szene. Die falschen Antworten wurden maschinell erzeugt und von Menschen dahingehend überprüft, dass sie hauptsächlich Computer, aber keine Menschen täuschen. Insgesamt beinhaltet Situations With Adversarial Generations 113.000 solcher Aufgaben. Davon sind 73.000 für Trainingszwecke, 20.000 für Validierungszwecke und 20.000 für Testzwecke vorgesehen.

Die Satzvervollständigungsaufgaben sind in Form von CSV-Dateien verfügbar. Das zu prüfende Modell muss aus den vorgegebenen Möglichkeiten in einer Form von Multiple-Choice-Test die jeweils plausibelste Fortsetzung der textlich beschriebenen Videoszene anhand des vorhandenen allgemeinen Wissens und begründeter, vernünftiger Schlussfolgerungen korrekt auswählen. Das Ergebnis des Tests wird in Prozent angegeben und kann in ein Leaderboard hochgeladen und online veröffentlicht werden. Die menschliche Schlussfolgerungsleistung erreicht beim SWAG-Datensatz circa 88 Prozent. Aktuelle KI-Modelle erzielen mittlerweile Ergebnisse von deutlich über 90 Prozent. Beispielsweise liegt das Ergebnis von DeBERTa Large bei 94,12 Prozent.

(ID:48648046)